home *** CD-ROM | disk | FTP | other *** search
/ Internet Magazine 2003 May / INTERNET103.ISO / pc / software / windows / utils / weblog_expert / setup.exe / {app} / Config / Spiders.cfg < prev   
Encoding:
Text File  |  2002-04-06  |  1016 b   |  35 lines
  1. arachnophilia = Arachnophilia
  2. architext = ArchitextSpider
  3. aspider = ASpider (Associative Spider)
  4. backrub = BackRub
  5. checkbot = Checkbot
  6. Firefly = Fireball.de Robot
  7. freecrawl = Freecrawl
  8. gazz/2.1 (gazz@nttrd.com) = Nttrd.com Robot
  9. geturl = GetURL
  10. googlebot = Googlebot
  11. gulliver = Northern Light Gulliver
  12. infoseek = InfoSeek Robot
  13. infoseeksidewinder = Infoseek Sidewinder
  14. internetseer = InternetSeer
  15. lycos = Lycos
  16. scooter = Scooter
  17. searchhippo = SearchHippo Robot
  18. slurp = Inktomi Slurp
  19. fast-webcrawler = Fast-Webcrawler
  20. mercator = Mercator
  21. MSIECrawler = MSIE Crawler
  22. ia_archiver = ia_archiver
  23. ultraseek = Ultraseek
  24. Xenu Link Sleuth = Xenu's Link Sleuth
  25. Xenu's Link Sleuth = Xenu's Link Sleuth
  26. File Flash Spider = File Flash Spider
  27. TrueRobot/1.4 = Echo.com Robot
  28. SlySearch = Slysearch Robot
  29. Openfind = Openfind Robot
  30. LWP::Simple = Perl LWP
  31. lwp-trivial = Search4free Robot
  32. libwww-perl/5.41 = CMP United Media Robot 
  33. libwww-perl/5.48 = Alexa Robot
  34. libwww-perl/5.52 FP = Fast Search Robot
  35.